Übersicht
Bei der Beurteilung von Forschungsergebnissen stellt sich die Frage, ob eine Stichprobe repräsentativ für die Grundgesamtheit ist. Im Workshop werden wir gemeinsam erarbeiten, inwiefern eine Abweichung der Stichprobe von der Grundgesamtheit zu einer Verzerrung von Forschungsergebnissen führen kann und wie in einem solchen Falle bei der Berichterstattung der Ergebnisse vorgegangen werden kann. Im analytischen Teil des Workshops wird die eigene Lehrer:innen- bzw. Schüler:innen-Stichprobe mit Daten der amtlichen Schulstatistik (Grundgesamtheit) abgeglichen, um somit Aspekte der Repräsentativität der eigenen Stichprobe einzuschätzen. Datenbeispiele werden zur Verfügung gestellt. Die analytische Arbeit erfolgt mit Excel, R und RStudio.
Bitte R und RStudio installieren (Step 1 & Step 2): https://posit.co/download/rstudio-desktop/
Herzlich willkommen zum Workshop
Wie kann ich die Repräsentativität meiner Stichprobe beurteilen?
Pawel R. Kulawiak
kulawiak@uni-potsdam.de
Bei einer repräsentativen Online-Umfrage wurden 1000 Lehrkräfte befragt (fiktives Beispiel)
Benutzen Sie KI-Tools für die Unterrichtsvorbereitung?
- Ja: 87 %
- Nein: 13 %
Es besteht eine negative Korrelation (r = -0.34) zwischen „Alter“ und „Nutzung der KI-Tools“: Je älter die Lehrpersonen sind, desto seltener werden KI-Tools genutzt.
Altersverteilung der Lehrpersonen (in Jahren)
60 bis 64 🔳 2 %
55 bis 59 🔳🔳 4 %
50 bis 54 🔳🔳🔳 6 %
45 bis 49 🔳🔳🔳 6 %
40 bis 44 🔳🔳🔳🔳🔳🔳 12 %
35 bis 39 🔳🔳🔳🔳🔳🔳🔳🔳🔳🔳 20 %
30 bis 34 🔳🔳🔳🔳🔳🔳🔳🔳🔳🔳🔳🔳🔳🔳 28 %
25 bis 29 🔳🔳🔳🔳🔳🔳🔳🔳🔳🔳🔳 22 %
In einem Beitrag in einer Tageszeitung wird anhand der Umfrageergebnisse folgendes geschlussfolgert:
“Die allermeisten Lehrkräfte in Deutschland benutzen KI-Tools für die Unterrichtsvorbereitung.”
Empfinden Sie die Schlussfolgerung als gerechtfertigt?
Grundgesamtheit, Stichprobe und Zufallsstichprobe
“Our goal in sampling is not to obtain a random sample per se, but to obtain a sample representative of the parent population, which will allow us to infer from the characteristics of the sample to the characteristics of the population, based on the argument that the sample is “similar” to the rest of the population.” (Teng, 2011)
“A random sample is often used as a stand in for a representative sample. Random sampling however is neither necessary nor sufficient to ensure a representative sample. A random sample might still be skewed, as it must happen every now and then as a mathematical fact, and a non-random sample might have the appropriate proportion of elements, either by careful crafting of the sample or just by chance.” (Teng, 2011)
Kann eine nicht repräsentative Stichprobe das Studienergebnis verfälschen?
“However, even if we adhere to all good sampling practice, if there are reasons to cast doubt on a sample’s representativeness, the statistical inference from the sample to the population should justifiably be undermined.” (Teng, 2011)
Beispiel:“For example, to determine the average IQ of people, if it comes to our attention that all the members of the sample, drawn carefully following good sampling practice, happen to be members of mensa [high-IQ society], we should not proceed with the inference. The inference would be blocked as the default justification that the sample be representative becomes suspect.” (Teng, 2011)
Teng, C. M. (2011). Data, Data, Everywhere: Statistical Issues in Data Mining. In Philosophy of Statistics: Volume 7 in Handbook of the Philosophy of Science (Vol. 7, pp. 1099–1117). Elsevier. https://doi.org/10.1016/B978-0-444-51862-0.50034-4
Defining representativeness of study samples in medical and population health research: https://doi.org/10.1136/bmjmed-2022-000399